home *** CD-ROM | disk | FTP | other *** search
/ Chip 2007 January, February, March & April / Chip-Cover-CD-2007-02.iso / Pakiet bezpieczenstwa / mini Pentoo LiveCD 2006.1 / mpentoo-2006.1.iso / livecd.squashfs / usr / include / linux / list.h < prev    next >
C/C++ Source or Header  |  2005-10-13  |  22KB  |  705 lines
  1. #ifndef _LINUX_LIST_H
  2. #define _LINUX_LIST_H
  3.  
  4. #include <linux/stddef.h>
  5. #include <linux/prefetch.h>
  6. #include <asm/system.h>
  7.  
  8. /*
  9.  * These are non-NULL pointers that will result in page faults
  10.  * under normal circumstances, used to verify that nobody uses
  11.  * non-initialized list entries.
  12.  */
  13. #define LIST_POISON1  ((void *) 0x00100100)
  14. #define LIST_POISON2  ((void *) 0x00200200)
  15.  
  16. /*
  17.  * Simple doubly linked list implementation.
  18.  *
  19.  * Some of the internal functions ("__xxx") are useful when
  20.  * manipulating whole lists rather than single entries, as
  21.  * sometimes we already know the next/prev entries and we can
  22.  * generate better code by using them directly rather than
  23.  * using the generic single-entry routines.
  24.  */
  25.  
  26. struct list_head {
  27.     struct list_head *next, *prev;
  28. };
  29.  
  30. #define LIST_HEAD_INIT(name) { &(name), &(name) }
  31.  
  32. #define LIST_HEAD(name) \
  33.     struct list_head name = LIST_HEAD_INIT(name)
  34.  
  35. #define INIT_LIST_HEAD(ptr) do { \
  36.     (ptr)->next = (ptr); (ptr)->prev = (ptr); \
  37. } while (0)
  38.  
  39. struct hlist_head {
  40.     struct hlist_node *first;
  41. };
  42.  
  43. struct hlist_node {
  44.     struct hlist_node *next, **pprev;
  45. };
  46.  
  47. /**
  48.  * list_empty - tests whether a list is empty
  49.  * @head: the list to test.
  50.  */
  51. static inline int list_empty(const struct list_head *head)
  52. {
  53.        return head->next == head;
  54. }
  55.  
  56. #if defined(__KERNEL__) || defined(__LINUX_KEYBOARD_H)
  57.  
  58. /*
  59.  * Insert a new entry between two known consecutive entries.
  60.  *
  61.  * This is only for internal list manipulation where we know
  62.  * the prev/next entries already!
  63.  */
  64. static inline void __list_add(struct list_head *_new,
  65.                   struct list_head *prev,
  66.                   struct list_head *next)
  67. {
  68.     next->prev = _new;
  69.     _new->next = next;
  70.     _new->prev = prev;
  71.     prev->next = _new;
  72. }
  73.  
  74. /**
  75.  * list_add - add a new entry
  76.  * @new: new entry to be added
  77.  * @head: list head to add it after
  78.  *
  79.  * Insert a new entry after the specified head.
  80.  * This is good for implementing stacks.
  81.  */
  82. static inline void list_add(struct list_head *_new, struct list_head *head)
  83. {
  84.     __list_add(_new, head, head->next);
  85. }
  86.  
  87. /**
  88.  * list_add_tail - add a new entry
  89.  * @new: new entry to be added
  90.  * @head: list head to add it before
  91.  *
  92.  * Insert a new entry before the specified head.
  93.  * This is useful for implementing queues.
  94.  */
  95. static inline void list_add_tail(struct list_head *_new, struct list_head *head)
  96. {
  97.     __list_add(_new, head->prev, head);
  98. }
  99.  
  100. /*
  101.  * Insert a new entry between two known consecutive entries.
  102.  *
  103.  * This is only for internal list manipulation where we know
  104.  * the prev/next entries already!
  105.  */
  106. static inline void __list_add_rcu(struct list_head * _new,
  107.         struct list_head * prev, struct list_head * next)
  108. {
  109.     _new->next = next;
  110.     _new->prev = prev;
  111.     smp_wmb();
  112.     next->prev = _new;
  113.     prev->next = _new;
  114. }
  115.  
  116. /**
  117.  * list_add_rcu - add a new entry to rcu-protected list
  118.  * @new: new entry to be added
  119.  * @head: list head to add it after
  120.  *
  121.  * Insert a new entry after the specified head.
  122.  * This is good for implementing stacks.
  123.  *
  124.  * The caller must take whatever precautions are necessary
  125.  * (such as holding appropriate locks) to avoid racing
  126.  * with another list-mutation primitive, such as list_add_rcu()
  127.  * or list_del_rcu(), running on this same list.
  128.  * However, it is perfectly legal to run concurrently with
  129.  * the _rcu list-traversal primitives, such as
  130.  * list_for_each_entry_rcu().
  131.  */
  132. static inline void list_add_rcu(struct list_head *_new, struct list_head *head)
  133. {
  134.     __list_add_rcu(_new, head, head->next);
  135. }
  136.  
  137. /**
  138.  * list_add_tail_rcu - add a new entry to rcu-protected list
  139.  * @new: new entry to be added
  140.  * @head: list head to add it before
  141.  *
  142.  * Insert a new entry before the specified head.
  143.  * This is useful for implementing queues.
  144.  *
  145.  * The caller must take whatever precautions are necessary
  146.  * (such as holding appropriate locks) to avoid racing
  147.  * with another list-mutation primitive, such as list_add_tail_rcu()
  148.  * or list_del_rcu(), running on this same list.
  149.  * However, it is perfectly legal to run concurrently with
  150.  * the _rcu list-traversal primitives, such as
  151.  * list_for_each_entry_rcu().
  152.  */
  153. static inline void list_add_tail_rcu(struct list_head *_new,
  154.                     struct list_head *head)
  155. {
  156.     __list_add_rcu(_new, head->prev, head);
  157. }
  158.  
  159. /*
  160.  * Delete a list entry by making the prev/next entries
  161.  * point to each other.
  162.  *
  163.  * This is only for internal list manipulation where we know
  164.  * the prev/next entries already!
  165.  */
  166. static inline void __list_del(struct list_head * prev, struct list_head * next)
  167. {
  168.     next->prev = prev;
  169.     prev->next = next;
  170. }
  171.  
  172. /**
  173.  * list_del - deletes entry from list.
  174.  * @entry: the element to delete from the list.
  175.  * Note: list_empty on entry does not return true after this, the entry is
  176.  * in an undefined state.
  177.  */
  178. static inline void list_del(struct list_head *entry)
  179. {
  180.     __list_del(entry->prev, entry->next);
  181.     entry->next = __cast__(list_head*) LIST_POISON1;
  182.     entry->prev = __cast__(list_head*) LIST_POISON2;
  183. }
  184.  
  185. /**
  186.  * list_del_rcu - deletes entry from list without re-initialization
  187.  * @entry: the element to delete from the list.
  188.  *
  189.  * Note: list_empty on entry does not return true after this,
  190.  * the entry is in an undefined state. It is useful for RCU based
  191.  * lockfree traversal.
  192.  *
  193.  * In particular, it means that we can not poison the forward
  194.  * pointers that may still be used for walking the list.
  195.  *
  196.  * The caller must take whatever precautions are necessary
  197.  * (such as holding appropriate locks) to avoid racing
  198.  * with another list-mutation primitive, such as list_del_rcu()
  199.  * or list_add_rcu(), running on this same list.
  200.  * However, it is perfectly legal to run concurrently with
  201.  * the _rcu list-traversal primitives, such as
  202.  * list_for_each_entry_rcu().
  203.  *
  204.  * Note that the caller is not permitted to immediately free
  205.  * the newly deleted entry.  Instead, either synchronize_kernel()
  206.  * or call_rcu() must be used to defer freeing until an RCU
  207.  * grace period has elapsed.
  208.  */
  209. static inline void list_del_rcu(struct list_head *entry)
  210. {
  211.     __list_del(entry->prev, entry->next);
  212.     entry->prev = __cast__(list_head*) LIST_POISON2;
  213. }
  214.  
  215. /*
  216.  * list_replace_rcu - replace old entry by new one
  217.  * @old : the element to be replaced
  218.  * @new : the new element to insert
  219.  *
  220.  * The old entry will be replaced with the new entry atomically.
  221.  */
  222. static inline void list_replace_rcu(struct list_head *old, struct list_head *_new){
  223.     _new->next = old->next;
  224.     _new->prev = old->prev;
  225.     smp_wmb();
  226.     _new->next->prev = _new;
  227.     _new->prev->next = _new;
  228. }
  229.  
  230. /**
  231.  * list_del_init - deletes entry from list and reinitialize it.
  232.  * @entry: the element to delete from the list.
  233.  */
  234. static inline void list_del_init(struct list_head *entry)
  235. {
  236.     __list_del(entry->prev, entry->next);
  237.     INIT_LIST_HEAD(entry);
  238. }
  239.  
  240. /**
  241.  * list_move - delete from one list and add as another's head
  242.  * @list: the entry to move
  243.  * @head: the head that will precede our entry
  244.  */
  245. static inline void list_move(struct list_head *list, struct list_head *head)
  246. {
  247.         __list_del(list->prev, list->next);
  248.         list_add(list, head);
  249. }
  250.  
  251. /**
  252.  * list_move_tail - delete from one list and add as another's tail
  253.  * @list: the entry to move
  254.  * @head: the head that will follow our entry
  255.  */
  256. static inline void list_move_tail(struct list_head *list,
  257.                   struct list_head *head)
  258. {
  259.         __list_del(list->prev, list->next);
  260.         list_add_tail(list, head);
  261. }
  262.  
  263. /**
  264.  * list_empty_careful - tests whether a list is
  265.  * empty _and_ checks that no other CPU might be
  266.  * in the process of still modifying either member
  267.  *
  268.  * NOTE: using list_empty_careful() without synchronization
  269.  * can only be safe if the only activity that can happen
  270.  * to the list entry is list_del_init(). Eg. it cannot be used
  271.  * if another CPU could re-list_add() it.
  272.  *
  273.  * @head: the list to test.
  274.  */
  275. static inline int list_empty_careful(const struct list_head *head)
  276. {
  277.     struct list_head *next = head->next;
  278.     return (next == head) && (next == head->prev);
  279. }
  280.  
  281. static inline void __list_splice(struct list_head *list,
  282.                  struct list_head *head)
  283. {
  284.     struct list_head *first = list->next;
  285.     struct list_head *last = list->prev;
  286.     struct list_head *at = head->next;
  287.  
  288.     first->prev = head;
  289.     head->next = first;
  290.  
  291.     last->next = at;
  292.     at->prev = last;
  293. }
  294.  
  295. /**
  296.  * list_splice - join two lists
  297.  * @list: the new list to add.
  298.  * @head: the place to add it in the first list.
  299.  */
  300. static inline void list_splice(struct list_head *list, struct list_head *head)
  301. {
  302.     if (!list_empty(list))
  303.         __list_splice(list, head);
  304. }
  305.  
  306. /**
  307.  * list_splice_init - join two lists and reinitialise the emptied list.
  308.  * @list: the new list to add.
  309.  * @head: the place to add it in the first list.
  310.  *
  311.  * The list at @list is reinitialised
  312.  */
  313. static inline void list_splice_init(struct list_head *list,
  314.                     struct list_head *head)
  315. {
  316.     if (!list_empty(list)) {
  317.         __list_splice(list, head);
  318.         INIT_LIST_HEAD(list);
  319.     }
  320. }
  321.  
  322. /**
  323.  * list_entry - get the struct for this entry
  324.  * @ptr:    the &struct list_head pointer.
  325.  * @type:    the type of the struct this is embedded in.
  326.  * @member:    the name of the list_struct within the struct.
  327.  */
  328. #define list_entry(ptr, type, member) \
  329.     container_of(ptr, type, member)
  330.  
  331. /**
  332.  * list_for_each    -    iterate over a list
  333.  * @pos:    the &struct list_head to use as a loop counter.
  334.  * @head:    the head for your list.
  335.  */
  336. #define list_for_each(pos, head) \
  337.     for (pos = (head)->next; prefetch(pos->next), pos != (head); \
  338.             pos = pos->next)
  339.  
  340. /**
  341.  * __list_for_each    -    iterate over a list
  342.  * @pos:    the &struct list_head to use as a loop counter.
  343.  * @head:    the head for your list.
  344.  *
  345.  * This variant differs from list_for_each() in that it's the
  346.  * simplest possible list iteration code, no prefetching is done.
  347.  * Use this for code that knows the list to be very short (empty
  348.  * or 1 entry) most of the time.
  349.  */
  350. #define __list_for_each(pos, head) \
  351.     for (pos = (head)->next; pos != (head); pos = pos->next)
  352.  
  353. /**
  354.  * list_for_each_prev    -    iterate over a list backwards
  355.  * @pos:    the &struct list_head to use as a loop counter.
  356.  * @head:    the head for your list.
  357.  */
  358. #define list_for_each_prev(pos, head) \
  359.     for (pos = (head)->prev; prefetch(pos->prev), pos != (head); \
  360.             pos = pos->prev)
  361.  
  362. /**
  363.  * list_for_each_safe    -    iterate over a list safe against removal of list entry
  364.  * @pos:    the &struct list_head to use as a loop counter.
  365.  * @n:        another &struct list_head to use as temporary storage
  366.  * @head:    the head for your list.
  367.  */
  368. #define list_for_each_safe(pos, n, head) \
  369.     for (pos = (head)->next, n = pos->next; pos != (head); \
  370.         pos = n, n = pos->next)
  371.  
  372. /**
  373.  * list_for_each_entry    -    iterate over list of given type
  374.  * @pos:    the type * to use as a loop counter.
  375.  * @head:    the head for your list.
  376.  * @member:    the name of the list_struct within the struct.
  377.  */
  378. #define list_for_each_entry(pos, head, member)                \
  379.     for (pos = list_entry((head)->next, typeof(*pos), member);    \
  380.          prefetch(pos->member.next), &pos->member != (head);     \
  381.          pos = list_entry(pos->member.next, typeof(*pos), member))
  382.  
  383. /**
  384.  * list_for_each_entry_reverse - iterate backwards over list of given type.
  385.  * @pos:    the type * to use as a loop counter.
  386.  * @head:    the head for your list.
  387.  * @member:    the name of the list_struct within the struct.
  388.  */
  389. #define list_for_each_entry_reverse(pos, head, member)            \
  390.     for (pos = list_entry((head)->prev, typeof(*pos), member);    \
  391.          prefetch(pos->member.prev), &pos->member != (head);     \
  392.          pos = list_entry(pos->member.prev, typeof(*pos), member))
  393.  
  394. /**
  395.  * list_prepare_entry - prepare a pos entry for use as a start point in
  396.  *            list_for_each_entry_continue
  397.  * @pos:    the type * to use as a start point
  398.  * @head:    the head of the list
  399.  * @member:    the name of the list_struct within the struct.
  400.  */
  401. #define list_prepare_entry(pos, head, member) \
  402.     ((pos) ? : list_entry(head, typeof(*pos), member))
  403.  
  404. /**
  405.  * list_for_each_entry_continue -    iterate over list of given type
  406.  *            continuing after existing point
  407.  * @pos:    the type * to use as a loop counter.
  408.  * @head:    the head for your list.
  409.  * @member:    the name of the list_struct within the struct.
  410.  */
  411. #define list_for_each_entry_continue(pos, head, member)         \
  412.     for (pos = list_entry(pos->member.next, typeof(*pos), member);    \
  413.          prefetch(pos->member.next), &pos->member != (head);    \
  414.          pos = list_entry(pos->member.next, typeof(*pos), member))
  415.  
  416. /**
  417.  * list_for_each_entry_safe - iterate over list of given type safe against removal of list entry
  418.  * @pos:    the type * to use as a loop counter.
  419.  * @n:        another type * to use as temporary storage
  420.  * @head:    the head for your list.
  421.  * @member:    the name of the list_struct within the struct.
  422.  */
  423. #define list_for_each_entry_safe(pos, n, head, member)            \
  424.     for (pos = list_entry((head)->next, typeof(*pos), member),    \
  425.         n = list_entry(pos->member.next, typeof(*pos), member);    \
  426.          &pos->member != (head);                     \
  427.          pos = n, n = list_entry(n->member.next, typeof(*n), member))
  428.  
  429. /**
  430.  * list_for_each_rcu    -    iterate over an rcu-protected list
  431.  * @pos:    the &struct list_head to use as a loop counter.
  432.  * @head:    the head for your list.
  433.  *
  434.  * This list-traversal primitive may safely run concurrently with
  435.  * the _rcu list-mutation primitives such as list_add_rcu()
  436.  * as long as the traversal is guarded by rcu_read_lock().
  437.  */
  438. #define list_for_each_rcu(pos, head) \
  439.     for (pos = (head)->next; prefetch(pos->next), pos != (head); \
  440.             pos = rcu_dereference(pos->next))
  441.  
  442. #define __list_for_each_rcu(pos, head) \
  443.     for (pos = (head)->next; pos != (head); \
  444.             pos = rcu_dereference(pos->next))
  445.  
  446. /**
  447.  * list_for_each_safe_rcu    -    iterate over an rcu-protected list safe
  448.  *                    against removal of list entry
  449.  * @pos:    the &struct list_head to use as a loop counter.
  450.  * @n:        another &struct list_head to use as temporary storage
  451.  * @head:    the head for your list.
  452.  *
  453.  * This list-traversal primitive may safely run concurrently with
  454.  * the _rcu list-mutation primitives such as list_add_rcu()
  455.  * as long as the traversal is guarded by rcu_read_lock().
  456.  */
  457. #define list_for_each_safe_rcu(pos, n, head) \
  458.     for (pos = (head)->next, n = pos->next; pos != (head); \
  459.         pos = rcu_dereference(n), n = pos->next)
  460.  
  461. /**
  462.  * list_for_each_entry_rcu    -    iterate over rcu list of given type
  463.  * @pos:    the type * to use as a loop counter.
  464.  * @head:    the head for your list.
  465.  * @member:    the name of the list_struct within the struct.
  466.  *
  467.  * This list-traversal primitive may safely run concurrently with
  468.  * the _rcu list-mutation primitives such as list_add_rcu()
  469.  * as long as the traversal is guarded by rcu_read_lock().
  470.  */
  471. #define list_for_each_entry_rcu(pos, head, member)            \
  472.     for (pos = list_entry((head)->next, typeof(*pos), member);    \
  473.          prefetch(pos->member.next), &pos->member != (head);     \
  474.          pos = rcu_dereference(list_entry(pos->member.next,     \
  475.                     typeof(*pos), member)))
  476.  
  477.  
  478. /**
  479.  * list_for_each_continue_rcu    -    iterate over an rcu-protected list
  480.  *            continuing after existing point.
  481.  * @pos:    the &struct list_head to use as a loop counter.
  482.  * @head:    the head for your list.
  483.  *
  484.  * This list-traversal primitive may safely run concurrently with
  485.  * the _rcu list-mutation primitives such as list_add_rcu()
  486.  * as long as the traversal is guarded by rcu_read_lock().
  487.  */
  488. #define list_for_each_continue_rcu(pos, head) \
  489.     for ((pos) = (pos)->next; prefetch((pos)->next), (pos) != (head); \
  490.             (pos) = rcu_dereference((pos)->next))
  491.  
  492. /*
  493.  * Double linked lists with a single pointer list head.
  494.  * Mostly useful for hash tables where the two pointer list head is
  495.  * too wasteful.
  496.  * You lose the ability to access the tail in O(1).
  497.  */
  498.  
  499. #define HLIST_HEAD_INIT { .first = NULL }
  500. #define HLIST_HEAD(name) struct hlist_head name = {  .first = NULL }
  501. #define INIT_HLIST_HEAD(ptr) ((ptr)->first = NULL)
  502. #define INIT_HLIST_NODE(ptr) ((ptr)->next = NULL, (ptr)->pprev = NULL)
  503.  
  504. static inline int hlist_unhashed(const struct hlist_node *h)
  505. {
  506.     return !h->pprev;
  507. }
  508.  
  509. static inline int hlist_empty(const struct hlist_head *h)
  510. {
  511.     return !h->first;
  512. }
  513.  
  514. static inline void __hlist_del(struct hlist_node *n)
  515. {
  516.     struct hlist_node *next = __cast__(hlist_node*) n->next;
  517.     struct hlist_node **pprev = __cast__(hlist_node**) n->pprev;
  518.     *pprev = next;
  519.     if (next)
  520.         next->pprev = pprev;
  521. }
  522.  
  523. static inline void hlist_del(struct hlist_node *n)
  524. {
  525.     __hlist_del(n);
  526.     n->next = __cast__(hlist_node*) LIST_POISON1;
  527.     n->pprev = __cast__(hlist_node**) LIST_POISON2;
  528. }
  529.  
  530. /**
  531.  * hlist_del_rcu - deletes entry from hash list without re-initialization
  532.  * @n: the element to delete from the hash list.
  533.  *
  534.  * Note: list_unhashed() on entry does not return true after this,
  535.  * the entry is in an undefined state. It is useful for RCU based
  536.  * lockfree traversal.
  537.  *
  538.  * In particular, it means that we can not poison the forward
  539.  * pointers that may still be used for walking the hash list.
  540.  *
  541.  * The caller must take whatever precautions are necessary
  542.  * (such as holding appropriate locks) to avoid racing
  543.  * with another list-mutation primitive, such as hlist_add_head_rcu()
  544.  * or hlist_del_rcu(), running on this same list.
  545.  * However, it is perfectly legal to run concurrently with
  546.  * the _rcu list-traversal primitives, such as
  547.  * hlist_for_each_entry().
  548.  */
  549. static inline void hlist_del_rcu(struct hlist_node *n)
  550. {
  551.     __hlist_del(n);
  552.     n->pprev = __cast__(hlist_node**) LIST_POISON2;
  553. }
  554.  
  555. static inline void hlist_del_init(struct hlist_node *n)
  556. {
  557.     if (n->pprev)  {
  558.         __hlist_del(n);
  559.         INIT_HLIST_NODE(n);
  560.     }
  561. }
  562.  
  563. static inline void hlist_add_head(struct hlist_node *n, struct hlist_head *h)
  564. {
  565.     struct hlist_node *first = h->first;
  566.     n->next = first;
  567.     if (first)
  568.         first->pprev = &n->next;
  569.     h->first = n;
  570.     n->pprev = &h->first;
  571. }
  572.  
  573.  
  574. /**
  575.  * hlist_add_head_rcu - adds the specified element to the specified hlist,
  576.  * while permitting racing traversals.
  577.  * @n: the element to add to the hash list.
  578.  * @h: the list to add to.
  579.  *
  580.  * The caller must take whatever precautions are necessary
  581.  * (such as holding appropriate locks) to avoid racing
  582.  * with another list-mutation primitive, such as hlist_add_head_rcu()
  583.  * or hlist_del_rcu(), running on this same list.
  584.  * However, it is perfectly legal to run concurrently with
  585.  * the _rcu list-traversal primitives, such as
  586.  * hlist_for_each_rcu(), used to prevent memory-consistency
  587.  * problems on Alpha CPUs.  Regardless of the type of CPU, the
  588.  * list-traversal primitive must be guarded by rcu_read_lock().
  589.  */
  590. static inline void hlist_add_head_rcu(struct hlist_node *n,
  591.                     struct hlist_head *h)
  592. {
  593.     struct hlist_node *first = h->first;
  594.     n->next = first;
  595.     n->pprev = &h->first;
  596.     smp_wmb();
  597.     if (first)
  598.         first->pprev = &n->next;
  599.     h->first = n;
  600. }
  601.  
  602. /* next must be != NULL */
  603. static inline void hlist_add_before(struct hlist_node *n,
  604.                     struct hlist_node *next)
  605. {
  606.     n->pprev = next->pprev;
  607.     n->next = next;
  608.     next->pprev = &n->next;
  609.     *(n->pprev) = n;
  610. }
  611.  
  612. static inline void hlist_add_after(struct hlist_node *n,
  613.                     struct hlist_node *next)
  614. {
  615.     next->next = n->next;
  616.     n->next = next;
  617.     next->pprev = &n->next;
  618.  
  619.     if(next->next)
  620.         next->next->pprev  = &next->next;
  621. }
  622.  
  623. #define hlist_entry(ptr, type, member) container_of(ptr,type,member)
  624.  
  625. #define hlist_for_each(pos, head) \
  626.     for (pos = (head)->first; pos && ({ prefetch(pos->next); 1; }); \
  627.          pos = pos->next)
  628.  
  629. #define hlist_for_each_safe(pos, n, head) \
  630.     for (pos = (head)->first; pos && ({ n = pos->next; 1; }); \
  631.          pos = n)
  632.  
  633. #define hlist_for_each_rcu(pos, head) \
  634.     for ((pos) = (head)->first; pos && ({ prefetch((pos)->next); 1; }); \
  635.         (pos) = rcu_dereference((pos)->next))
  636.  
  637. /**
  638.  * hlist_for_each_entry    - iterate over list of given type
  639.  * @tpos:    the type * to use as a loop counter.
  640.  * @pos:    the &struct hlist_node to use as a loop counter.
  641.  * @head:    the head for your list.
  642.  * @member:    the name of the hlist_node within the struct.
  643.  */
  644. #define hlist_for_each_entry(tpos, pos, head, member)             \
  645.     for (pos = (head)->first;                     \
  646.          pos && ({ prefetch(pos->next); 1;}) &&             \
  647.         ({ tpos = hlist_entry(pos, typeof(*tpos), member); 1;}); \
  648.          pos = pos->next)
  649.  
  650. /**
  651.  * hlist_for_each_entry_continue - iterate over a hlist continuing after existing point
  652.  * @tpos:    the type * to use as a loop counter.
  653.  * @pos:    the &struct hlist_node to use as a loop counter.
  654.  * @member:    the name of the hlist_node within the struct.
  655.  */
  656. #define hlist_for_each_entry_continue(tpos, pos, member)         \
  657.     for (pos = (pos)->next;                         \
  658.          pos && ({ prefetch(pos->next); 1;}) &&             \
  659.         ({ tpos = hlist_entry(pos, typeof(*tpos), member); 1;}); \
  660.          pos = pos->next)
  661.  
  662. /**
  663.  * hlist_for_each_entry_from - iterate over a hlist continuing from existing point
  664.  * @tpos:    the type * to use as a loop counter.
  665.  * @pos:    the &struct hlist_node to use as a loop counter.
  666.  * @member:    the name of the hlist_node within the struct.
  667.  */
  668. #define hlist_for_each_entry_from(tpos, pos, member)             \
  669.     for (; pos && ({ prefetch(pos->next); 1;}) &&             \
  670.         ({ tpos = hlist_entry(pos, typeof(*tpos), member); 1;}); \
  671.          pos = pos->next)
  672.  
  673. /**
  674.  * hlist_for_each_entry_safe - iterate over list of given type safe against removal of list entry
  675.  * @tpos:    the type * to use as a loop counter.
  676.  * @pos:    the &struct hlist_node to use as a loop counter.
  677.  * @n:        another &struct hlist_node to use as temporary storage
  678.  * @head:    the head for your list.
  679.  * @member:    the name of the hlist_node within the struct.
  680.  */
  681. #define hlist_for_each_entry_safe(tpos, pos, n, head, member)          \
  682.     for (pos = (head)->first;                     \
  683.          pos && ({ n = pos->next; 1; }) &&                  \
  684.         ({ tpos = hlist_entry(pos, typeof(*tpos), member); 1;}); \
  685.          pos = n)
  686.  
  687. /**
  688.  * hlist_for_each_entry_rcu - iterate over rcu list of given type
  689.  * @pos:    the type * to use as a loop counter.
  690.  * @pos:    the &struct hlist_node to use as a loop counter.
  691.  * @head:    the head for your list.
  692.  * @member:    the name of the hlist_node within the struct.
  693.  *
  694.  * This list-traversal primitive may safely run concurrently with
  695.  * the _rcu list-mutation primitives such as hlist_add_rcu()
  696.  * as long as the traversal is guarded by rcu_read_lock().
  697.  */
  698. #define hlist_for_each_entry_rcu(tpos, pos, head, member)         \
  699.     for (pos = (head)->first;                     \
  700.          pos && ({ prefetch(pos->next); 1;}) &&             \
  701.         ({ tpos = hlist_entry(pos, typeof(*tpos), member); 1;}); \
  702.          pos = rcu_dereference(pos->next))
  703. #endif
  704. #endif
  705.